#Reverse KL

4 篇

On-Policy Distillation Teaches New Skills but Not New Knowledge

On-Policy 蒸馏教技能不教知识

🧭 On-policy 蒸馏的知识/技能迁移机制 ★ 深度解读

The Hong Kong University of Science and Technology

reverse-KL on-policy 蒸馏主要迁移组合推理技能，几乎不迁移事实知识；改用 forward KL 才能迁移新事实

📌 工作参考价值（4 点）

如果目的是给推荐/搜索/Agent 的轻量 LLM 注入新事实（新品知识、活动规则、2026 新实体、query 改写约束），别只靠 reverse-KL OPD；优先 teacher-demo forward KL 或 SFT，否则学生仍用旧记忆生成错误答案。
如果目的是提升多跳推理/规划（商品属性组合、优惠规则计算、对话策略树状拆分），可用 student rollout + reverse KL 的 OPD，重点放在组合执行，不引入新事实。
混合目标如 ToDi 可同时获得事实与组合提升，在蒸馏预算有限时可替代单纯 reverse KL；GKD/EOPD 仍偏技能迁移。
事实与技能更新在 LoRA 子空间近似正交：事实更新集中在末层，组合技能集中在浅/中层。可为知识更新和推理能力使用独立 LoRA 分支或分层学习率，减少互相干扰。

Training | 2026-10-06 | HF Daily | score 8/10

跨分词器在线策略蒸馏再思考：从对齐覆盖到监督可靠性

🧭 跨 tokenizer 蒸馏优化 ★ 深度解读

Alibaba Cloud Computing

跨 tokenizer 在线蒸馏中，严格 1:1 对齐已覆盖多数 token；学生选 top-16 共享词表即可保留大部分收益，补 mismatch span MSE 反而降精度

📌 工作参考价值（4 点）

做跨 tokenizer / 跨模型蒸馏时，可先只对严格 1:1 对齐位置做 shared vocabulary 上的 reverse KL，并让学生自选 top-k（如 top-16）词表子集；这能压缩计算和显存，同时保留大部分蒸馏收益。适合生成式推荐中不同 tokenizer 的 Semantic ID 序列蒸馏。
新增辅助监督（如 mismatch span MSE、多任务损失）前，先做梯度方向与相对幅度诊断：计算 g_mis 与 g_strict 的 cosine 和 norm ratio；若 cosine 接近 0/负、norm ratio 随训练上升，大概率引入冲突信号，应降低权重或丢弃。
评估“监督覆盖”不要只看静态词表 Jaccard，要看 student rollout 上 strict token coverage 以及共享词表实际概率质量；工程上采样几十条 rollout 即可快速判断是否值得做复杂对齐。
在 Agent 或推荐 LLM 的蒸馏中，若希望提升 teacher 信号覆盖，不要盲目追求全位置覆盖；优先保证主损失梯度干净，可先在小支持集上验证收益再扩展。

Training | 2026-10-05 | HF Daily | score 8/10

D^3-MOPD：自适应动态领域调度的高效多教师蒸馏

🧭 多教师蒸馏 · 在线动态调度

AllSpark Team

提出零开销动态调度器，复用每领域reverse-KL信号在线调整多教师蒸馏的数据混合比例，大幅提升收敛效率与性能

📌 工作参考价值（4 点）

借鉴 per-domain loss/KL 轨迹作为在线调度信号：在多任务/多域推荐模型（如首页推荐、搜索、广告域联合训练）中，定期追踪各任务的收敛速度与剩余提升空间，动态调整采样比例，避免固定混合导致快任务过拟合、慢任务欠训练。
使用 off-process 异步 watcher 实现零开销调度：不侵入训练主循环，适合在现有训练框架中轻量集成，无需改动核心代码即可获得收益。
调度策略可迁移到多场景 LLM 微调：当不同领域数据收敛速度差异大时，优先分配资源给“难但可学”的领域，减少已饱和领域的采样，能显著降低达到目标性能所需的训练步数。
结论“领域越多、收敛模式差异越大，动态调度收益越大”提示：在电商多域多目标场景下，随着接入业务域增多，这类自适应调度可能带来超线性训练效率提升。

Training | 2026-08-24 | HF Daily | score 7/10

相同证据，不同答案：面向多轮语言模型的规范上下文在线策略蒸馏

🧭 多轮对话一致性 · 在线策略自蒸馏 ★ 深度解读

Zhejiang University · University of Science and Technology of China

提出 CCOPD 自蒸馏方法，通过冻结的完整上下文教师来矫正多轮分片输入下的答案，消除自我锚定漂移，仅用数学训练即可泛化至多种任务。

📌 工作参考价值（4 点）

多轮交互下的答案一致性提升：在客服、推荐问卷、Agent 任务等逐渐收集用户需求的场景中，早期不完整回答容易引入错误先验。借鉴 CCOPD，可以用完整上下文的模型输出作为监督信号，对齐最终回复分布，缓解模型被自身历史“带偏”。
低成本训练策略：教师和学生使用同一基础模型，无需额外大模型或人工标注，仅需构造任务等价的分片-完整对，并通过 on-policy reverse KL 优化。训练数据仅用了数学题，却能零样本迁移到代码、SQL、摘要等任务，说明学到的是通用的证据锚定能力，适合资源有限的业务快速部署。
注意力和诊断工具可复用：文中提出的 SAAR（自锚注意力比）和 neutral-placeholder 替换实验，可用来探测业务多轮对话模型是否过度依赖自身历史回复，从而针对性地优化提示或训练数据。
训练范式优于推理时修复：与推理时反思或重置策略相比，CCOPD 将一致性内化到模型权重中，不增加推理延迟，适合对延迟敏感的在线应用。

Training | 2026-05-28 | cs.CL | score 8/10